全息减少的表示（HRR）是通过将每个向量与抽象概念相关联，并提供数学操作以操纵向量的方法来执行符号AI的方法，以便操纵向量，就像它们是经典的符号对象一样。这种方法在较旧的象征性AI工作和认知科学之外已经很少使用。我们的目标是重新审视这种方法，以了解它是否可行，以使混合神经象征性的方法能够学习作为深度学习架构的可差分量。由于数值不稳定性，HRRS今天在可分辨率的解决方案中无效，我们通过引入迫使向量存在于空间良好的点中的投影步骤来解决问题。这样做，我们将HRRS的概念检索效果提高超过100美元。使用多标签分类，我们演示了如何利用符号HRR属性来开发能够有效学习的输出层和损耗功能，并允许我们调查HRR神经象征性学习方法的一些优缺点。我们的代码可以在https://github.com/neuromorphiccomputationResearchProgram/learning-with-hotographicuredued-representations
translated by 谷歌翻译
End-to-end text-to-speech (TTS) systems have been developed for European languages like English and Spanish with state-of-the-art speech quality, prosody, and naturalness. However, development of end-to-end TTS for Indian languages is lagging behind in terms of quality. The challenges involved in such a task are: 1) scarcity of quality training data; 2) low efficiency during training and inference; 3) slow convergence in the case of large vocabulary size. In our work reported in this paper, we have investigated the use of fine-tuning the English-pretrained Tacotron2 model with limited Sanskrit data to synthesize natural sounding speech in Sanskrit in low resource settings. Our experiments show encouraging results, achieving an overall MOS of 3.38 from 37 evaluators with good Sanskrit spoken knowledge. This is really a very good result, considering the fact that the speech data we have used is of duration 2.5 hours only.
translated by 谷歌翻译
Entity matching in Customer 360 is the task of determining if multiple records represent the same real world entity. Entities are typically people, organizations, locations, and events represented as attributed nodes in a graph, though they can also be represented as records in relational data. While probabilistic matching engines and artificial neural network models exist for this task, explaining entity matching has received less attention. In this demo, we present our Explainable Entity Matching (xEM) system and discuss the different AI/ML considerations that went into its implementation.
translated by 谷歌翻译
Collecting sufficient labeled data for spoken language understanding (SLU) is expensive and time-consuming. Recent studies achieved promising results by using pre-trained models in low-resource scenarios. Inspired by this, we aim to ask: which (if any) pre-training strategies can improve performance across SLU benchmarks? To answer this question, we employ four types of pre-trained models and their combinations for SLU. We leverage self-supervised speech and language models (LM) pre-trained on large quantities of unpaired data to extract strong speech and text representations. We also explore using supervised models pre-trained on larger external automatic speech recognition (ASR) or SLU corpora. We conduct extensive experiments on the SLU Evaluation (SLUE) benchmark and observe self-supervised pre-trained models to be more powerful, with pre-trained LM and speech models being most beneficial for the Sentiment Analysis and Named Entity Recognition task, respectively.
translated by 谷歌翻译
ML-AS-A-Service继续增长，对非常强大的隐私保证的需求也在继续增长。安全推断已成为潜在的解决方案，其中加密原始图允许推理不向用户向用户揭示用户的输入或模型的权重。例如，模型提供商可以是一家诊断公司，该公司已经培训了一种最先进的Densenet-121模型来解释胸部X射线，并且用户可以在医院成为患者。尽管对于这种环境，确保推理原则上是可行的，但没有现有的技术使其大规模实用。 Cryptflow2框架提供了一种潜在的解决方案，其能力自动，正确地将清晰文本推理转换为安全模型的推断。但是，从Cryptflow2产生的安全推断在不切实际上很昂贵：在Densenet-121上解释单个X射线需要几乎3TB的通信。在本文中，我们解决了针对三项贡献的安全推断效率低下的重大挑战。首先，我们证明安全推理中的主要瓶颈是大型线性层，可以通过选择网络骨干的选择来优化，并使用用于有效的清晰文本推理开发的操作员。这一发现和强调与许多最近的作品偏离，这些作品着重于在执行较小网络的安全推断时优化非线性激活层。其次，基于对瓶颈卷积层的分析，我们设计了一个更有效的倒入替代品的X操作器。第三，我们表明，快速的Winograd卷积算法进一步提高了安全推断的效率。结合使用，这三个优化被证明对在CHEXPERT数据集中训练的X射线解释问题非常有效。
translated by 谷歌翻译
随着自动语音处理（ASR）系统越来越好，使用ASR输出越来越令于进行下游自然语言处理（NLP）任务。但是，很少的开源工具包可用于在不同口语理解（SLU）基准上生成可重复的结果。因此，需要建立一个开源标准，可以用于具有更快的开始进入SLU研究。我们展示了Espnet-SLU，它旨在在一个框架中快速发展口语语言理解。 Espnet-SLU是一个项目内部到结束语音处理工具包，ESPNET，它是一个广泛使用的开源标准，用于各种语音处理任务，如ASR，文本到语音（TTS）和语音转换（ST）。我们增强了工具包，为各种SLU基准提供实现，使研究人员能够无缝混合和匹配不同的ASR和NLU模型。我们还提供预磨损的模型，具有集中调谐的超参数，可以匹配或甚至优于最新的最先进的性能。该工具包在https://github.com/espnet/espnet上公开提供。
translated by 谷歌翻译
零售商的主要障碍之一是了解他们可以从合同需求响应（DR）客户期望的消费弹性。零售商提供的DR产品的目前的趋势不是消费者特定的，这对消费者在这些计划中的积极参与的额外障碍带来了额外的障碍。消费者需求行为的弹性因个人而异。该实用程序将从知识中获益，更准确地了解其价格的变化将如何修改其客户的消费模式。这项工作提出了博士签约消费者消费弹性的功能模型。该模型的目的是确定负载调整，消费者可以为不同的价格水平提供给零售商或公用事业。拟议的模型使用贝叶斯概率方法来识别实际的负载调整，单个合同的客户可以提供它可以体验的不同价格水平。发达的框架为零售商或公用事业提供了一个工具，以获得关于个人消费者如何应对不同价格水平的关键信息。这种方法能够量化消费者对DR信号作出反应的可能性，并识别各个合同的博士客户提供的实际负载调整提供他们可以体验的不同价格水平。该信息可用于最大限度地提高零售商或实用程序可以向系统运营商提供的服务的控制和可靠性。
translated by 谷歌翻译
在本文中，我们调查了如何在重复的上下文首次价格拍卖中出价的问题。我们考虑一个投标人（学习者）在第一个价格拍卖中反复出价：每次$ t $，学习者都会观察上下文$ x_t \ in \ mathbb {r} ^ d $，并根据历史信息决定出价$ x_t $。我们假设所有其他人的最大出价的结构化线性模型$ m_t = \ alpha_0 \ cdot x_t + z_t $，其中$ \ alpha_0 \ in \ mathbb {r} ^ d $对学习者未知，$ z_t $随机地从噪声分布$ \ mathcal {f} $上采样，使用log-tym-tangave密度函数$ f $。我们考虑\ emph {二进制反馈}（学习者只能观察她是否赢）和\ emph {完全信息反馈}（学习者可以在每次$ t $的末尾观察$ m_t $）。对于二进制反馈，当噪声分布$ \ mathcal {f} $时，我们提出了一种竞标算法，通过使用最大似然估计（MLE）方法来实现至多$ \ widetilde {o}（\ sqrt {\ log（ d）t}）$后悔。此外，我们将该算法概括为具有二进制反馈的设置，并且噪声分布未知，但属于参数化分布。对于具有\ EMPH {Unknown}噪声分布的完整信息反馈，我们提供了一种算法，它在大多数$ \ widetilde {o}（\ sqrt {dt}）$上实现后悔。我们的方法将估计器组合了对数凹入密度函数，然后将MLE方法同时学习噪声分布$ \ mathcal {f} $和线性重量$ \ alpha_0 $。我们还提供了一个下限的结果，使得广泛课堂上的任何竞标政策必须至少为\ omega（\ sqrt {t}）$而遗憾，即使学习者收到完整信息反馈和$ \ mathcal {f} $已知。
translated by 谷歌翻译
在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。
translated by 谷歌翻译